图像到图像翻译(I2I)是一个充满挑战的计算机视觉问题,用于多个任务的众多域。最近,眼科成为I2i的应用迅速增加的主要领域之一。一种这样的应用是合成视网膜光学相干断层(OCT)扫描的产生。现有的I2I方法需要培训多种模型,将图像从正常扫描转换为特定病理学:限制由于它们的复杂性而对这些模型的使用。要解决此问题,我们提出了一个无监督的多域I2I网络,具有预先培训的样式编码器,可将一个域中的视网膜OCT图像转换为多个域。我们假设图像分裂到域不变内容和域特定的样式代码,并预先培训这些样式代码。所执行的实验表明,所提出的模型优于Munit和Cyclangan合成不同的病理扫描等最先进的模型。
translated by 谷歌翻译
Deep learning-based pose estimation algorithms can successfully estimate the pose of objects in an image, especially in the field of color images. 6D Object pose estimation based on deep learning models for X-ray images often use custom architectures that employ extensive CAD models and simulated data for training purposes. Recent RGB-based methods opt to solve pose estimation problems using small datasets, making them more attractive for the X-ray domain where medical data is scarcely available. We refine an existing RGB-based model (SingleShotPose) to estimate the 6D pose of a marked cube from grayscale X-ray images by creating a generic solution trained on only real X-ray data and adjusted for X-ray acquisition geometry. The model regresses 2D control points and calculates the pose through 2D/3D correspondences using Perspective-n-Point(PnP), allowing a single trained model to be used across all supporting cone-beam-based X-ray geometries. Since modern X-ray systems continuously adjust acquisition parameters during a procedure, it is essential for such a pose estimation network to consider these parameters in order to be deployed successfully and find a real use case. With a 5-cm/5-degree accuracy of 93% and an average 3D rotation error of 2.2 degrees, the results of the proposed approach are comparable with state-of-the-art alternatives, while requiring significantly less real training examples and being applicable in real-time applications.
translated by 谷歌翻译
To analyze this characteristic of vulnerability, we developed an automated deep learning method for detecting microvessels in intravascular optical coherence tomography (IVOCT) images. A total of 8,403 IVOCT image frames from 85 lesions and 37 normal segments were analyzed. Manual annotation was done using a dedicated software (OCTOPUS) previously developed by our group. Data augmentation in the polar (r,{\theta}) domain was applied to raw IVOCT images to ensure that microvessels appear at all possible angles. Pre-processing methods included guidewire/shadow detection, lumen segmentation, pixel shifting, and noise reduction. DeepLab v3+ was used to segment microvessel candidates. A bounding box on each candidate was classified as either microvessel or non-microvessel using a shallow convolutional neural network. For better classification, we used data augmentation (i.e., angle rotation) on bounding boxes with a microvessel during network training. Data augmentation and pre-processing steps improved microvessel segmentation performance significantly, yielding a method with Dice of 0.71+/-0.10 and pixel-wise sensitivity/specificity of 87.7+/-6.6%/99.8+/-0.1%. The network for classifying microvessels from candidates performed exceptionally well, with sensitivity of 99.5+/-0.3%, specificity of 98.8+/-1.0%, and accuracy of 99.1+/-0.5%. The classification step eliminated the majority of residual false positives, and the Dice coefficient increased from 0.71 to 0.73. In addition, our method produced 698 image frames with microvessels present, compared to 730 from manual analysis, representing a 4.4% difference. When compared to the manual method, the automated method improved microvessel continuity, implying improved segmentation performance. The method will be useful for research purposes as well as potential future treatment planning.
translated by 谷歌翻译
通用数据模型解决了标准化电子健康记录(EHR)数据的许多挑战,但无法将其集成深度表型所需的资源。开放的生物学和生物医学本体论(OBO)铸造本体论提供了可用于生物学知识的语义计算表示,并能够整合多种生物医学数据。但是,将EHR数据映射到OBO Foundry本体论需要大量的手动策展和域专业知识。我们介绍了一个框架,用于将观察性医学成果合作伙伴关系(OMOP)标准词汇介绍给OBO铸造本体。使用此框架,我们制作了92,367条条件,8,615种药物成分和10,673个测量结果的映射。域专家验证了映射准确性,并且在24家医院进行检查时,映射覆盖了99%的条件和药物成分和68%的测量结果。最后,我们证明OMOP2OBO映射可以帮助系统地识别可能受益于基因检测的未诊断罕见病患者。
translated by 谷歌翻译
ICECUBE是一种用于检测1 GEV和1 PEV之间大气和天体中微子的光学传感器的立方公斤阵列,该阵列已部署1.45 km至2.45 km的南极的冰盖表面以下1.45 km至2.45 km。来自ICE探测器的事件的分类和重建在ICeCube数据分析中起着核心作用。重建和分类事件是一个挑战,这是由于探测器的几何形状,不均匀的散射和冰中光的吸收,并且低于100 GEV的光,每个事件产生的信号光子数量相对较少。为了应对这一挑战,可以将ICECUBE事件表示为点云图形,并将图形神经网络(GNN)作为分类和重建方法。 GNN能够将中微子事件与宇宙射线背景区分开,对不同的中微子事件类型进行分类,并重建沉积的能量,方向和相互作用顶点。基于仿真,我们提供了1-100 GEV能量范围的比较与当前ICECUBE分析中使用的当前最新最大似然技术,包括已知系统不确定性的影响。对于中微子事件分类,与当前的IceCube方法相比,GNN以固定的假阳性速率(FPR)提高了信号效率的18%。另外,GNN在固定信号效率下将FPR的降低超过8(低于半百分比)。对于能源,方向和相互作用顶点的重建,与当前最大似然技术相比,分辨率平均提高了13%-20%。当在GPU上运行时,GNN能够以几乎是2.7 kHz的中位数ICECUBE触发速率的速率处理ICECUBE事件,这打开了在在线搜索瞬态事件中使用低能量中微子的可能性。
translated by 谷歌翻译
结构性健康监测(SHM)的一个主要问题是损害的预后和结构剩余使用寿命的定义。这两个任务都取决于许多参数,其中许多参数通常不确定。许多模型是针对上述任务开发的,但是它们是确定性的或随机的,只能考虑到结构的过去状态限制的能力。在当前的工作中,提出了一个生成模型,以预测结构的破坏演变。该模型能够在基于人群的SHM(PBSHM)框架中执行,以考虑到许多过去的结构状态,以在建模过程中纳入不确定性,并根据从结构中获取的数据产生潜在的损害进化结果。该算法在模拟的损伤演化示例上进行了测试,结果表明,它能够提供有关人群中结构剩余使用寿命的非常自信的预测。
translated by 谷歌翻译
逆运动学(IK)系统通常相对于其输入特征很僵硬,因此需要将用户干预适应新骨架。在本文中,我们旨在创建一个适用于各种人类形态的灵活的,学到的IK求解器。我们扩展了最先进的机器学习IK求解器,以在众所周知的皮肤多人线性模型(SMPL)上运行。我们称我们的模型SMPL-IK,并表明当集成到实时3D软件中时,该扩展系统为定义新型AI-Asissist Animation Workfrows提供了机会。例如,通过允许用户在摆姿势的同时修改性别和身体形状,可以使姿势创作更加灵活。此外,当使用现有姿势估计算法链接时,SMPL-IK通过允许用户从2D图像引导3D场景来加速摆姿势,同时允许进一步编辑。最后,我们提出了一种新颖的SMPL形状反转机制(SMPL-SI),将任意类人形特征映射到SMPL空间,使艺术家能够在自定义字符上利用SMPL-IK。除了显示拟议工具的定性演示外,我们还介绍了H36M和Amass数据集上的定量SMPL-IK基准。
translated by 谷歌翻译
黑色素瘤是一种严重的皮肤癌,在后期阶段高死亡率。幸运的是,当早期发现时,黑色素瘤的预后是有希望的,恶性黑色素瘤的发病率相对较低。结果,数据集严重不平衡,这使培训当前的最新监督分类AI模型变得复杂。我们建议使用生成模型来学习良性数据分布,并通过密度估计检测出分布(OOD)恶性图像。标准化流(NFS)是OOD检测的理想候选者,因为它们可以计算精确的可能性。然而,它们的感应偏见对明显的图形特征而不是语义上下文障碍障碍的OOD检测。在这项工作中,我们旨在将这些偏见与黑色素瘤的领域水平知识一起使用,以改善基于可能性的OOD检测恶性图像。我们令人鼓舞的结果表明,使用NFS检测黑色素瘤的可能性。我们通过使用基于小波的NFS,在接收器工作特性的曲线下,面积增加了9%。该模型需要较少的参数,以使其更适用于边缘设备。拟议的方法可以帮助医学专家诊断出皮肤癌患者并不断提高存活率。此外,这项研究为肿瘤学领域的其他领域铺平了道路,具有类似的数据不平衡问题\ footNote {代码可用:
translated by 谷歌翻译
胰腺癌是与癌症相关死亡的全球主要原因之一。尽管深度学习在计算机辅助诊断和检测方法(CAD)方法中取得了成功,但很少关注胰腺癌的检测。我们提出了一种检测胰腺肿瘤的方法,该方法在周围的解剖结构中利用临床上的特征,从而更好地旨在利用放射科医生的知识,而不是其他常规的深度学习方法。为此,我们收集了一个新的数据集,该数据集由99例胰腺导管腺癌(PDAC)和97例没有胰腺肿瘤的对照病例组成。由于胰腺癌的生长模式,肿瘤可能总是可见为低音病变,因此,专家指的是二次外部特征的可见性,这些特征可能表明肿瘤的存在。我们提出了一种基于U-NET样深的CNN的方法,该方法利用以下外部次要特征:胰管,常见的胆管和胰腺以及处理后的CT扫描。使用这些功能,该模型如果存在胰腺肿瘤。这种用于分类和本地化方法的细分实现了99%的敏感性(一个案例)和99%的特异性,这比以前的最新方法的灵敏度增加了5%。与以前的PDAC检测方法相比,该模型还以合理的精度和较短的推理时间提供位置信息。这些结果提供了显着的性能改善,并强调了在开发新型CAD方法时纳入临床专家知识的重要性。
translated by 谷歌翻译
数字双胞胎已成为优化工程产品和系统性能的关键技术。高保真数值模拟构成了工程设计的骨干,从而准确地了解了复杂系统的性能。但是,大规模的,动态的非线性模型需要大量的计算资源,并且对于实时数字双胞胎应用而言是高度的。为此,采用了减少的订单模型(ROM),以近似高保真解决方案,同时准确捕获身体行为的主要方面。本工作提出了一个新的机器学习(ML)平台,用于开发ROM,以处理处理瞬态非线性偏微分方程的大规模数值问题。我们的框架被称为$ \ textit {fastsvd-ml-rom} $,利用$ \ textit {(i)} $单数值分解(SVD)更新方法,以计算多效性解决方案的线性子空间仿真过程,$ \ textIt {(ii)} $降低非线性维度的卷积自动编码器,$ \ textit {(iii)} $ feed-feed-feed-forderward神经网络以将输入参数映射到潜在的空间,以及$ \ textit {(iv) )} $长的短期内存网络,以预测和预测参数解决方案的动力学。 $ \ textit {fastsvd-ml-rom} $框架的效率用于2D线性对流扩散方程,圆柱周围的流体问题以及动脉段内的3D血流。重建结果的准确性证明了鲁棒性,并评估了所提出的方法的效率。
translated by 谷歌翻译